ローカル環境で開発した機械学習モデルの Docker コンテナを構築し、ECRへ登録してみた

# ライブラリインポート
import numpy as np
import tensorflow as tf

# ディレクトリパスの指定
data_dir = "/app/data"

# バッチサイズの指定
batch_size = 32

# データサイズの指定
img_height = 180
img_width = 180

# データの分割
## 学習用
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split = 0.3,
    subset = "training",
    seed = 1,
    image_size=(img_height, img_width),
    batch_size=batch_size
)

## 検証用
val_ds = tf.keras.utils.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="validation",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size
)

# 正規化
normalization_layer = tf.keras.layers.Rescaling(1./255)

normalized_ds = train_ds.map(lambda x, y: (normalization_layer(x), y))
image_batch, labels_batch = next(iter(normalized_ds))
first_image = image_batch[0]
print(np.min(first_image), np.max(first_image))

# データセットの最適化
AUTOTUNE = tf.data.AUTOTUNE

train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

# CNNの構成
num_classes = 2

model = tf.keras.Sequential([
    tf.keras.layers.Rescaling(1./255),
    tf.keras.layers.Conv2D(32, 3, activation='relu'),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Conv2D(64, 3, activation='relu'),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Conv2D(128, 3, activation='relu'),
    tf.keras.layers.MaxPooling2D(),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(128, activation='relu'),
    tf.keras.layers.Dense(num_classes),
    tf.keras.layers.Softmax()
])

# コンパイル
model.compile(
  optimizer=tf.keras.optimizers.Adam(),
  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
  metrics=['accuracy'])

# トレーニング
history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=10,
  verbose=1
)

# 公式イメージを使用する
FROM tensorflow/tensorflow:latest-gpu

# コンテナの作者名とバージョンを指定
LABEL mainteiner="yoshidanana <メールアドレス入力>" \
      version="1.0"

# 作業ディレクトリを指定
WORKDIR /app

# 必要なパッケージをインストール
RUN pip install numpy==1.24.3

# ソースコードとデータセットをコピー
COPY Image_Classification_Model.py /app/
COPY dataset.zip /app/

# データセットを解凍し、zipデータを削除
RUN unzip dataset.zip -d /app/data && rm dataset.zip

# 機械学習モデル.py の実行
CMD ["python", "Image_Classification_Model.py"]

$ aws ecr create-repository --repository-name test

    "repository": {
        "repositoryArn": "arn:aws:ecr:ap-northeast-1:"<アカウントID>":repository/test",
        "registryId": ""<アカウントID>"",
        "repositoryName": "test",
        "repositoryUri": ""<アカウントID>".dkr.ecr.ap-northeast-1.amazonaws.com/test"
    } ...

$ aws ecr describe-repositories --repository-name  test

{
"repositories": [
        {
            "repositoryArn": "arn:aws:ecr:ap-northeast-1:"<アカウントID>":repository/test",
            "registryId": ""<アカウントID>"",
            "repositoryName": "test",
            "repositoryUri": ""<アカウントID>".dkr.ecr.ap-northeast-1.amazonaws.com/test",
            "createdAt": "2024-09-17T16:17:03.293000+09:00",
            "imageTagMutability": "MUTABLE",
            "imageScanningConfiguration": {
                "scanOnPush": false
            },
            "encryptionConfiguration": {
                "encryptionType": "AES256"
            }
        }
    ]
}

cd app

docker build . -t classification-model-image:latest

-t <リポジトリ名>:<タグ>

docker image ls

REPOSITORY                                          TAG                    IMAGE ID       CREATED         SIZE
classification-model-image                          latest                 fe06c4e2621a   2 minutes ago   7.61GB

$ aws ecr get-login-password --region ap-northeast-1 | docker login --username AWS --password-stdin "<アカウントID>".dkr.ecr.ap-northeast-1.amazonaws.com

$ docker tag classification-model-image:latest "<アカウントID>".dkr.ecr.ap-northeast-1.amazonaws.com/test:latest

docker image ls

REPOSITORY                                                                         TAG                    IMAGE ID       CREATED          SIZE
"<アカウントID>".dkr.ecr.ap-northeast-1.amazonaws.com/test   latest                 fe06c4e2621a   13 minutes ago   7.61GB 

$ docker push "<アカウントID>".dkr.ecr.ap-northeast-1.amazonaws.com/test:latest

aws ecr describe-images --repository-name test

{
    "imageDetails": [
        {
            "registryId": "<アカウントID>",
            "repositoryName": "test",
            "imageDigest": "sha256:08de9457b3988619401bc955451babcfcbc349beb62fb5cbbf8826f8616f4fe9",
            "imageTags": [
                "latest"
            ],
            "imageSizeInBytes": 3983229617,
            "imagePushedAt": "2024-09-17T18:37:33+09:00",
            "imageManifestMediaType": "application/vnd.docker.distribution.manifest.v2+json",
            "artifactMediaType": "application/vnd.docker.container.image.v1+json"
        }
    ]
}